সার্চ কনসোলে Indexed but Blocked by Robots.txt Error সমাধান

InfoBlend BD
২ জুন, ২০২৬

 সার্চ কনসোলে Indexed but Blocked by Robots.txt Error সমাধান — এই সমস্যাটা যদি আপনার ওয়েবসাইটে দেখা দেয়, তাহলে প্রথমেই বুকটা একটু কেঁপে ওঠে তাই না? মনে হয়, " এখন কি হবে? গুগল কি আমার সাইট সার্চে দেখাবে না?" এই ভয়টা একদমই স্বাভাবিক।কিন্তু ভালো খবর হলো — এই সমস্যাটা ততোটা জটিল না যতটা প্রথমে মনে হয়। একটু বুঝেশুনে কাজ করলে এটা নিজেই ঠিক করা সম্ভব। 

আমি নিজে যখন প্রথমবার Google Search  Console খুলে এই Error দেখেছিলাম, তখন মাথায় আকাশ ভেঙ্গে পড়েছিল। কয়েক মাস ধরে লেখা আর্টিকেলগুলো Index হয়েছে, কিন্তু robots.txt দিয়ে block হয়ে গেছে — এটা শুনতেই কেমন যেন লাগে। কিন্তু এই গাইডটা পড়ার পর আপনি বুঝতে পারবেন কোথায় সমস্যা হয়েছে এবং ঠিক কিভাবে সেটা ঠিক করতে হবে।

পেইজ সূচিপত্রঃ সার্চ কনসোলে Indexed but Blocked by Robots.txt Error সমাধান

সার্চ কনসোলে Indexed but Blocked by Robots.txt Error সমাধান — এটা আসলে কী?

সার্চ কনসোলে Indexed but Blocked by Robots.txt Error সমাধান  করতে হলে আগে বুঝতে হবে এই Error -টা আসলে কি বলছে।

Google search console এ যখন আপনি Coverage বা Indexing রিপোর্টে যান, তখন কিছু পেজ " Indexed, though blocked by robots.txt" স্ট্যাটাসে দেখা যায়। এর মানে হলো — Google আপনার পেজটাকে Index করেছে ( অর্থাৎ তার ডেটাবেজে রেখেছে), কিন্তু একই সাথে আপনার robots.txt ফাইলটা গুগলকে সেই পেজ Crawl করতে বাধা দিচ্ছে। 

এটাকে একটু সহজ ভাষায় বলি — ধরুন আপনি একটা দোকান খুললেন, দরজায় সাইনবোর্ড লাগিয়ে রাখলেন "ভেতরে আসবেন না", কিন্তু জানালা দিয়ে বাইরে থেকে দোকানের ভেতরটা দেখা যাচ্ছে। গুগল জানালা দিয়ে দেখে সাইটটা Index করে ফেলেছে, কিন্তু দরজার সাইনবোর্ড (robots.txt) মানছে। 

এখানে দুটো বিষয় একসাথে ঘটছে:
  • পেজটা index - এ আছে ( হয়তো অন্য লিংক বা সাইটম্যাপের মাধ্যমে গুগল এটা খুঁজে পেয়েছে)
  • কিন্তু robots.txt সেটা Crawl করতে দিচ্ছে না। 
এই দুই অবস্থার মাঝখানে আটকে যাওয়াটাই হলো এই error -এর মূল কারণ। 

Robots.txt কী এবং এটা কিভাবে কাজ করে?

Robots.txt হলো একটি সাদামাটা টেক্সট ফাইল, যেটা আপনার ওয়েবসাইটের রুট ডিরেক্টরীতে রাখে। এর কাজ হলো সার্চ ইঞ্জিনের Crawlers বা Bots -কে বলে দেওয়া — কোন পেজে যাওয়া যাবে আর কোনটাই যাওয়া যাবেনা। 

যেমন: যদি আপনার robots.txt ফাইলে লেখা থাকে:

User-agent :  *
Disallow :   / wp-admin/
Disallow :  / checkout/

তাহলে এর মানে হলো সব ধরনের bots -কে বলা হচ্ছে —   /wp-admin/    আর    /checkout/ পেজে ঢুকো না।

এখন সমস্যা হয় তখন যখন ভুলবশত গুরুত্বপূর্ণ পেজ ও এই Disallow  -এর আওতায় পড়ে যায়। অনেক সময় নতুন থিম ইনস্টল করলে, প্লাগইন আপডেট দিলে, বা কেউ অজান্তে robots.txt এডিট করলে এই সমস্যা তৈরি হয়।

Robots.txt -এর কিছু নিয়ম:
  • User-agent :  *    মানে সব bots -এর জন্য প্রযোজ্য। 
  • User-agent :        Googlebot    মানে শুধু গুগলের Bot -এর  জন্য।
  • Disallow :   /       মানে পুরো সাইট ব্লক করা।
  • Allow :   /           মানে সব পেজ  crawl করতে দেওয়া।
  • Sitemap :            লাইনে সাইটম্যাপের URL দেওয়া হয়।

একটা বাস্তব উদাহরণ: ধরুন, একজন ব্লগার তার ওয়ার্ডপ্রেস সাইটে Yoast SEO প্লাগইন ইনস্টল করেছেন। সেটাপের সময় ভুলে পুরো সাইট "noindex" করে রেখেছেন। এই একটা ছোট ভুলেই পুরো সাইট গুগলের চোখ থেকে আড়াল হয়ে যেতে পারে। এরকম ভুলেই সাধারণত এই error দেখা দেয়।
আরও পড়ুনঃ Google Search Console URL Inspection Tool ব্যবহারের সম্পূর্ণ গাইড

কোন কারণে এই Error হয়?

এই error -এর পেছনে বেশ কয়েকটা কারণ থাকতে পারে। চলুন একে একে দেখি:

১. ভুলে পুরো সাইট Disallow  করা

Wordpress এ সেটাপের সময় "Search Engine Visibility"  অপশনে একটা চেকবক্স থাকে — " "Discourage search engines from indexing this site"। ডেভেলপমেন্ট এর সময় এটা টিক দেওয়া হয় যাতে অসম্পূর্ণ সাইট গুগল ইনডেক্স না করে। কিন্তু সাইট লাইভ করার পরেও যদি এই চেক বক্স টিক দেওয়া থাকে, তাহলে robots.txt -এ "Disallow:  / " লেখা চলে আসে।

২. প্লাগইন বা থিমের কারণে robots.txt পরিবর্তন 

কিছু SEO প্লাগইন বা ক্যাশিং প্লাগইন নিজে থেকে robots.txt -এ নিয়ম যোগ করে। যদি সেই নিয়মগুলো ঠিকঠাক না হয়,  তাহলে গুরুত্বপূর্ণ পেজ ব্লক হয়ে যেতে পারে। 

৩. হাতে লেখা ভুল নিয়ম 

অনেক সময় সিনিয়র ডেভেলপার বা ওয়েবমাস্টার ম্যানুয়ালি robots.txt এডিট করেন। এতে ছোটখাটো টাইপো বা ভুল পাথ দিয়ে দিলেই সমস্যা হয়। 

৪. Wildcard ভুলভাবে ব্যবহার করা 

যেমন Disallow:    /*?  লেখা মানে সব query string  যুক্ত URL block করা। কিন্তু অনেক ওয়েবসাইটে পেজিনেশন বা ফিল্টারে URL -এ query string থাকে, যেগুলো দরকারি। 

৫. সাবডিরেক্টরি বা ক্যাটাগরি ভুলে ব্লক করা 

ধরুন আপনি, /private/  ফোল্ডার করতে চেয়েছিলেন,  কিন্তু ভুলে /product/ লিখে ফেলেছেন। তাহলে সব প্রোডাক্ট পেজই ব্লক হয়ে যাবে। 

Google Search Console -এ কীভাবে এই Error খুঁজে পাবেন?

চলুন এখন জানবো, কিভাবে সমস্যাটা আপনি খুঁজে বের করবেন:

ধাপ ১: Google Search Console -এ লগইন করুন।

ধাপ ২: বাম দিকের মেনু থেকে" Indexing" > "Pages" সেকশনে যান।

ধাপ ৩: "Why pages aren't indexed" অংশে স্ক্রল করুন। সেখানে যদি "Indexed,through blocked by.robots.txt" অপশন দেখেন,সেটায় ক্লিক করুন।

ধাপ ৪: এখন একটা লিস্ট আসবে — কোন কোন পেজে এই সমস্যা আছে। প্রতিটি URL নোট করে রাখুন।

ধাপ ৫: এরপর Google এর "robotstxt Tester" টুল ব্যবহার করুন। এটা Search Console এর পুরনো ভার্সনে ছিল, এখন সরাসরি search.google.com/search-console/robots-testing-tool থেকে ব্যবহার করা যায়।

এই টেস্টার টুলে আপনার সাইটের URL বসিয়ে দেখতে পাবেন — কোন URL -গুলো blocked আর কোনগুলো allowed।

robots.txt Tester দিয়ে সমস্যার জায়গা চিহ্নিত করুন

robots.txt ব্লকড পেজ ঠিক করার উপায় জানার আগে সঠিকভাবে সমস্যাটা চিহ্নিত করতে হবে।

Google -এর robots.txt Tester টুল ব্যবহারের নিয়ম:
  • প্রথমে আপনার সাইটের URL দিন (যেমন:https://yoursite.com)
  • টুলটি আপনার বর্তমান robots.Text ফাইল লোড করব
  • নিচে একটা টেস্ট বক্স আছে — সেখানে blocked পেজের URL বসান
  • "Test" বোতাম চাপুন
  • দেখুন "Allowed" নাকি "Blocked" দেখাচ্ছে  
যদি "Blocked" দেখায়, তাহলে বুঝতে হবে robots.txt -এর কোন নিয়ম এই পেজকে আটকাচ্ছে। টুলটি আপনাকে ঠিক কোন লাইনটা ব্লক করছে সেটাও হাইলাইট করে দেখাবে। 

robots.txt ব্লকড  পেজ ঠিক করার উপায় হিসেবে এই তথ্যটা সবচেয়ে গুরুত্বপূর্ণ — কারণ না জানলে ঠিক করা সম্ভব না। 
আরও পড়ুনঃ XML Sitemap কী এবং কেন আপনার ওয়েবসাইটের জন্য গুরুত্বপূর্ণ?

ধাপে ধাপে সমাধান — কিভাবে এই Error ঠিক করবেন?

এবার আসল কাজ শুরু। সার্চ কনসোলে Indexed but Blocked by roberts.txt error সমাধান করার জন্য নিচের ধাপ গুলো অনুসরণ করুন:
ধাপ ১: আপনার robots.txt ফাইল দেখুন
আপনার ব্রাউজারে যান এবং টাইপ করুন: https://yoursite.com/robots.txt

এখানে আপনার পুরো robots.txt ফাইলটা দেখতে পাবেন। এটা কপি করে কোথাও সেভ করে রাখুন যাতে পরিবর্তনের আগে একটা ব্যাকআপ থাকে।

ধাপ ২: Wordpress Settings চেক করুন

যদি Wordpress ব্যবহার করেন:

  • Wordpress Dashboard > Setting > Reading -এ যান
  • "Search Engine Visibility" সেকশন দেখুন
  • "Discourage search engines from indexing this site" চেকবক্সটি Unchecked আছে কিনা নিশ্চিত করুন। 
  • যদি Checked থাকে, আনচেক করে "Save Changes" চাপুন। 
এটা সবচেয়ে সাধারণ ভুল এবং অনেক সময় এই একটা ধাপেই সমস্যা সমাধান হয়ে যায়। 

ধাপ ৩: SEO  Plugin Settings চেক করুন
Yoast SEO ব্যবহারকারীদের জন্য 
  • Yoast SEO > Tools > File Editor -এ যান
  • robots.txt ফাইলটা দেখুন এবং ভুল Disallow  নিয়মগুলো সরিয়ে দিন। 
Rank Math ব্যবহারকারীদের জন্য:
  • Rank Math > General Setting > Edit robots.txt -এ যান
  • একইভাবে ভুল নিয়ম সংশোধন করুন 
ধাপ ৪. সরাসরি robots.txt এডিট করুন
যদি FTP বা cPanel অ্যাক্সেস থাকে:
  • FTP Client (যেমন FileZilla) দিয়ে সাইটের রুটে যান। 
  • robots.txt ফাইলটা খুলুন
  • ভুল Disallow লাইনগুলো মুছে দিন অথবা সঠিক করুন 
  • ফাইলটা সেভ করুন এবং আবার আপলোড করুন
একটা সঠিক robots.txt ফাইলের উদাহরণ:

User-agent :   *
Disallow :  /wp-admin/
Disallow :  / wp-includes/
Allow :    /wp-admin/admin-ajax.php


Sitemap :   https://yoursite.com/sitemap.xml

এই ফাইলে শুধু admin আর includes ফোল্ডার block করা হয়েছে বাকি সব পেজ crawl  করতে দেওয়া হয়েছে। 

ধাপ ৫: নির্দিষ্ট পেজ Allow করুন 
যদি শুধু কিছু পেজ block হচ্ছে তাহলে সেগুলোর জন্য allow নিয়ম যোগ করতে পারেন। যেমন:

User-agent :   *
Disallow :   /private/
Allow:   /private/public-page/

এতে /private/ ফোল্ডার block থাকবে, কিন্তু /private/public-page/    allow থাকবে।

ধাপ ৬: পরিবর্তনের পর Validate করুন 
Robots.txt এডিট করার পরেই কিন্তু কাজ শেষ না। এরপর আবার গুগলের robots.txt Tester দিয়ে চেক করুন — সমস্যাযুক্ত URL এখন Allowed দেখাচ্ছে কিনা।

Google Search Console -এ Revalidation Request দিন।

robots.txt ঠিক করার পরে Search Console এ গিয়ে Google কে জানাতে হবে যে সমস্যা সমাধান হয়েছে।

এটা করার নিয়ম:
  • Search Council > Indexing > pages -এ যান
  • Indexed, though blocked by robots.txt এরর এ ক্লিক করুন
  • উপরে Validate Fix বোতাম দেখতে পাবেন — সেটায় ক্লিক করুন
  • Google একটা Notification পাঠাবে এবং কয়েকদিনের মধ্যে পুনরায় crawl করবে
এই প্রক্রিয়াটি সম্পন্ন হতে সাধারণত ৩ থেকে ১৪ দিন সময় লাগতে পারে। তাই একটু ধৈর্য ধরতে হবে। 

একটি গুরুত্বপূর্ণ বিষয় মনে রাখুন: Validate Fix মানে সমস্যা সাথে সাথে ঠিক করা যাবে না।  গুগল নতুন করে Crawl করবে এবং যদি robots.txt সঠিক থাকে তাহলে Error সরে যাবে। 

কিছু বিশেষ পরিস্থিতি এবং তাদের সমাধান

পরিস্থিতি ১: পুরো সাইট Blocked

যদি Disallow :  /  লেখা থাকে, তার মানে পুরো সাইট Blocke। এটা সরিয়ে নিলে Allow :  /  বা robots.txt সম্পূর্ণ পরিষ্কার করে শুধু দরকারই নিয়ম রাখুন।

পরিস্থিতি ২: শুধু নির্দিষ্ট ক্যাটাগরি বা ট্যাগ Block

অনেক সাইটে /tag/ বা /category/ পেজ ইচ্ছাকৃতভাবে করা থাকে duplicate content  এড়াতে। কিন্তু যদি এই পেজগুলো আপনার কাছে গুরুত্বপূর্ণ হয় তাহলে সেই disallow নিয়মটা সরিয়ে দিন।  

পরিস্থিতি ৩: Image বা Media ফাইল Blocked

কিছু robots.txt এ /wp-content/upload/    Block করা থাকে। এর ফলে গুগল ইমেজ সার্চে আপনার ছবি দেখাবে না। যদি ইমেজ SEO চান, তাহলে এই নিয়মটা সরিয়ে দিন। 

পরিস্থিতি ৪: Noindex এবং Robots.txt একসাথে ব্যবহার

অনেক সময় দেখা যায় একটা পেজে <meta name="robots.txt" content="noindex"> ট্যাগও আছে আবার robots.txt এটাও  ব্লক করা। এই দুটো একসাথে ব্যবহার করলে গুগল কনফিউজড হয়। মূল নিয়ম হলো শুধু  robots.txt block করলে গুগল পেজটা crawl করতে পারেনা। তাই noindex ট্যাগ পড়তেও পারে না। তাই কার্যকর noindex চাইলে robots.txt এ  ব্লক করবেন না, বরং allow রাখুন এবং meta tag ব্যবহার করুন।

পরিস্থিতি ৫: CDN বা Cache এর কারণে পুরনো robots.txt দেখাচ্ছে 

অনেকসময় Cloud flare বা অন্য CDN আগের robots.txt cache করে রাখে। ফাইল ঠিক করার পরেও পুরোনোটা দেখাতে পারে। এক্ষেত্রে CDN Cache পরিষ্কার করতে হবে। 

ভবিষ্যতে এই Error এড়ানোর উপায়

এই সমস্যা একবার সমাধান হলেই যে আর হবে না — তা কিন্তু নয়। তাই ভবিষ্যতে যাতে এই সমস্যা না হয় সেজন্য কিছু সতর্কতা নেওয়া উচিত।

নিয়মিত Audit করুন:
  • মাসে অন্তত Search Console   একবার চেক করুন 
  • নতুন প্লাগইন বা থিম ইনস্টলের পর  robots.txt চেক করুন 
Staging সাইড লাইভ করার আগে:
  • "Discourage Search Engines" অপশন বন্ধ করা আছে কিনা নিশ্চিত করুন
  • robots.txt -এ Disallow :  /   নেই তো — চেক করুন
robots.txt পরিবর্তনের আগে ব্যাকআপ নিন:
  • যেকোনো পরিবর্তনের আগে পুরনো ফাইলটা কপি করে রাখুন 
Google Search Consol Alerts সেট করুন:
  • নতুন Error দেখা দিলে ইমেইল নোটিফিকেশন পাবেন
Sitemap সঠিকভাবে।Submit করুন:
  • robots.txt -এ Sitemap URL যোগ করুন
  • Search Console থেকে Sitemap Submit করুন, এতে গুগল সহজে গুরুত্বপূর্ণ পেজ খুঁজে পাবে।   

সার্চ কনসোলে Indexed but Blocked by Robots.txt Error  এবং SEO-র  উপর এর প্রভাব

সার্চ কনসোলে Indexed but Blocked by robots.txt error সমাধান শুধু Technical দিক থেকে নয়, SEO এর দৃষ্টিকোণ থেকেও অত্যন্ত গুরুত্বপূর্ণ। 

যখন একটা পেজ Index এ আছে কিন্তু robots.txt blocked, তখন কিছু বিষয় ঘটে:

রেংকিং  অনিশ্চিত হয়ে পড়ে: গুগল পেজটার কন্টেন্ট সঠিকভাবে পড়তে পারেনা তাই সেটার কোয়ালিটি বুঝতে পারে না। ফলে সার্চে সঠিক পজিশনে দেখাবে না। 
Featured Snippet পাওয়া কঠিন হয়: Featured Snippet পেতে হলে গুগলকে পেজের কনটেন্ট ভালোভাবে crawl করতে হয়। Blocked পেজে এটা সম্ভব না।

Internal Linking এর মূল্য কমে: Blocked পেজে internal link থাকলেও গুগল সেই link equity ঠিকমতো পাস করতে পারেনা। 

Page Speed Insights ঠিকমতো কাজ করে না:  কিছু SEO metrics যেমন Core Web Vitals এর জন্য গুগলকে পেইজ Crawl করতে হয়। Block করা থাকলে এই তথ্য সঠিক হয় না। 

একটা বাস্তব উদাহরণ: আমার পরিচিত একজন ব্লগার তার ই-কমার্স সাইটে /product/ ফোল্ডার ভুলে ব্লক করে রেখেছিলেন। তিন মাস পরে লক্ষ্য করলেন ট্রাফিক অর্ধেকে নেমে এসেছে। Search Council চেক করে দেখলেন শত শত প্রোডাক্ট পেজ "Indexed, though blocked by robots.txt" স্ট্যাটাসে। robots.txt ঠিক করার দুই সপ্তাহ পরে ট্রাফিক আবার স্বাভাবিক হলো।

এই ঘটনা থেকে বোঝা যায় সার্চ কনসোলে Indexed but Blocked by Robots.txt error সমাধান ঠিকমতো না করলে সাইটের ট্রাফিক ও Revenue দুটোই ক্ষতিগ্রস্ত হতে পারে।  

উন্নত ব্যবহারকারীদের জন্য কিছু বাড়তি টিপস

যারা একটু বেশি টেকনিক্যাল জ্ঞান রাখেন তাদের জন্য কিছু অতিরিক্ত টিপস:
Crawl Budget সম্পর্কে সচেতন থাকুন: বড় সাইটের জন্য Crawl Budget অনেক গুরুত্বপূর্ণ। গুগল প্রতিটা সাইটের জন্য নির্দিষ্ট সংখ্যা পেজ Crawl করে প্রতিদিন।তাই সত্যিকারের অপ্রয়োজনীয় পেজ  (যেমন duplicate content বা login page) block রাখুন, কিন্তু গুরুত্বপূর্ণ পেজ কখনো ব্লক করবেন না। 
Disallow vs Noindex:
  • Disallow (robots.txt): google পেজে ঢুকতে পারবে না। 
  • Noindex (meta tag): গুগল ঢুকতে পারবে কিন্তু ইনডেক্স করবে না। 
SEO এর জন্য noindex বেশি নিয়ন্ত্রণযোগ্য। Disallow দিলে গুগল পেজের কনটেন্ট পড়তে পারেনা ফলে  Penalty পেলেও গুগল সেটা আপনাকে জানাতে পারবে না। 

Log File  Analysis করুন: Server log File দেখলে বোঝা যায় Googlebot কোন কোন পেজ crawl করার চেষ্টা করছে এবং কোথায় বাধা পাচ্ছে। এটা advanced troubleshooting এর জন্য কাজে লাগে। 

Screaming Frog ব্যবহার করুন: Screaming Frog SEO Spider টোল দিয়ে পুরো সাইট Crawl করুন। এটা আপনাকে  দেখাবে কোন কোন পেজ robots.txt দ্বারা ব্লক হচ্ছে — একটা Spreadsheet আকারে।
আরও পড়ুনঃ Googlebot Crawl Error সমাধান করে দ্রুত Indexing বাড়ান

সার্চ কনসোলে Indexed but Blocked by Robots.txt Error সমাধান নিয়ে শেষ কথা:

সার্চ কনসোলে Indexed but blocked by Robots.txt error সমাধান করাটা একটু কঠিন মনে হলেও ধাপে ধাপে কাজ করলে এটা যে কেউ করতে পারবেন। সবচেয়ে গুরুত্বপূর্ণ হলো আতঙ্কিত না হয়ে আগে সমস্যাটা বোঝা তারপর সঠিক জায়গায় হাত দেওয়া। 

মনে রাখবেন — robots.txt একটি শক্তিশালী ফাইল। ছোট একটা ভুল পুরো সাইটের SEO ক্ষতি করতে পারে। তাই যে কোন পরিবর্তন করার আগে ব্যাকআপ নিন, Tester দিয়ে যাচাই করুন এবং পরিবর্তনের পরে Search Console এ Validate করুন।

এই পোস্টটি পরিচিতদের সাথে শেয়ার করুন

পূর্বের পোস্ট দেখুন পরবর্তী পোস্ট দেখুন
এই পোস্টে এখনো কেউ মন্তব্য করে নি
মন্তব্য করতে এখানে ক্লিক করুন

ইনফোব্লেন্ড বিডির নীতিমালা মেনে কমেন্ট করুন। প্রতিটি কমেন্ট রিভিউ করা হয়।

comment url